Voice assistants are deployed widely and provide useful functionality. However, recent work has shown that commercial systems like Amazon Alexa and Google Home are vulnerable to voice-based confusion attacks that exploit design issues. We propose a systems-oriented defense against this class of attacks and demonstrate its functionality for Amazon Alexa. We ensure that only the skills a user intends execute in response to voice commands. Our key insight is that we can interpret a user's intentions by analyzing their activity on counterpart systems of the web and smartphones. For example, the Lyft ride-sharing Alexa skill has an Android app and a website. Our work shows how information from counterpart apps can help reduce dis-ambiguities in the skill invocation process. We build SkilIFence, a browser extension that existing voice assistant users can install to ensure that only legitimate skills run in response to their commands. Using real user data from MTurk (N = 116) and experimental trials involving synthetic and organic speech, we show that SkillFence provides a balance between usability and security by securing 90.83% of skills that a user will need with a False acceptance rate of 19.83%.
translated by 谷歌翻译
防御对抗例子仍然是一个空旷的问题。一个普遍的信念是,推理的随机性增加了寻找对抗性输入的成本。这种辩护的一个例子是将随机转换应用于输入之前,然后将其馈送到模型。在本文中,我们从经验和理论上研究了这种随机预处理的防御措施,并证明它们存在缺陷。首先,我们表明大多数随机防御措施比以前想象的要弱。他们缺乏足够的随机性来承受诸如投影梯度下降之类的标准攻击。这对长期以来的假设产生了怀疑,即随机防御能力无效,旨在逃避确定性的防御和迫使攻击者以整合对转型(EOT)概念的期望。其次,我们表明随机防御与对抗性鲁棒性和模型不变性之间的权衡面临。随着辩护模型获得更多的随机化不变性,它们变得不太有效。未来的工作将需要使这两种效果分解。我们的代码在补充材料中可用。
translated by 谷歌翻译
由于社会机器人在日常环境中越来越普遍,因此他们将参加对话并适当地管理与他们共享的信息。然而,关于机器人如何适当地辨别信息的敏感性,这几乎都知道,这对人机信任具有重大影响。作为解决此问题的一部分的第一步,我们设计了隐私控制员,知己,用于对话社会机器人,能够使用与对话中的对话中的上下文元数据(例如,情绪,关系,主题)进行模型隐私边界。之后,我们进行了两项众群用户研究。第一项研究(n = 174)重点是,是否被认为是私人/敏感或非私人/非敏感性的各种人类互动情景。我们第一次研究的调查结果用于生成关联规则。我们的第二个研究(n = 95)通过比较使用我们的隐私控制器对基线机器人的机器人来评估人机交互情景中隐私控制器的有效性和准确性,这些机器人对基线机器人没有隐私控制。我们的结果表明,没有隐私控制器的机器人在没有隐私控制器的隐私权,可信度和社会意识中占有于机器人。我们得出结论,隐私控制器在真实的人机对话中的整合可以允许更可靠的机器人。此初始隐私控制员将作为更复杂的解决方案作为基础。
translated by 谷歌翻译
商业和政府部门中自动面部识别的扩散引起了个人的严重隐私问题。解决这些隐私问题的一种方法是采用逃避攻击针对启动面部识别系统的度量嵌入网络的攻击:面部混淆系统会产生不透彻的扰动图像,从而导致面部识别系统误解用户。受扰动的面孔是在公制嵌入网络上产生的,在面部识别的背景下,这是不公平的。人口公平的问题自然而然:面部混淆系统表现是否存在人口统计学差异?我们通过对最近的面部混淆系统的分析和经验探索来回答这个问题。指标嵌入网络在人口统计学上很有意识:面部嵌入由人口统计组群聚集。我们展示了这种聚类行为如何导致少数群体面孔的面部混淆实用性减少。直观的分析模型可以深入了解这些现象。
translated by 谷歌翻译
随着现实世界图像的大小不同,机器学习模型是包括上游图像缩放算法的较大系统的一部分。在本文中,我们研究了基于决策的黑框设置中图像缩放过程的漏洞与机器学习模型之间的相互作用。我们提出了一种新颖的采样策略,以端到端的方式使黑框攻击利用漏洞在缩放算法,缩放防御和最终的机器学习模型中。基于这种缩放感知的攻击,我们揭示了大多数现有的缩放防御能力在下游模型的威胁下无效。此外,我们从经验上观察到,标准的黑盒攻击可以通过利用脆弱的缩放程序来显着提高其性能。我们进一步在具有基于决策的黑盒攻击的商业图像分析API上证明了这个问题。
translated by 谷歌翻译
It is crucial to protect the intellectual property rights of DNN models prior to their deployment. The DNN should perform two main tasks: its primary task and watermarking task. This paper proposes a lightweight, reliable, and secure DNN watermarking that attempts to establish strong ties between these two tasks. The samples triggering the watermarking task are generated using image Mixup either from training or testing samples. This means that there is an infinity of triggers not limited to the samples used to embed the watermark in the model at training. The extensive experiments on image classification models for different datasets as well as exposing them to a variety of attacks, show that the proposed watermarking provides protection with an adequate level of security and robustness.
translated by 谷歌翻译
随着协作机器人进入工业商店的地板,物流和制造业,对人机互动的快速和灵活评估变得越来越重要。用于虚拟和增强现实的消费者耳机的可用性降低了虚拟环境的进入障碍。在本文中,我们探讨了使用此类环境在用户研究中模拟机器人的不同方面,并介绍了我们自己的研究工作的第一个发现。最后,我们建议在人类机器人相互作用中应用和使用模拟的方向。
translated by 谷歌翻译
在部署之前,保护DNN模型的知识产权是至关重要的。到目前为止,提出的方法要么需要更改内部模型参数或机器学习管道,要么无法满足安全性和鲁棒性要求。本文提出了一种轻巧,健壮且安全的黑盒DNN水印协议,该协议利用了加密单向功能以及在训练过程中注入任务钥匙标签 - 标签对。这些对后来用于在测试过程中证明DNN模型所有权。主要功能是证明及其安全性的价值是可衡量的。广泛的实验为各种数据集的图像分类模型以及将它们暴露于各种攻击中,表明它提供了保护的同时,同时保持了足够的安全性和鲁棒性。
translated by 谷歌翻译
自我监督的视觉学习彻底改变了深度学习,成为域中的下一个重大挑战,并通过大型计算机视觉基准的监督方法迅速缩小了差距。随着当前的模型和培训数据成倍增长,解释和理解这些模型变得关键。我们研究了视力任务的自我监督学习领域中可解释的人工智能的问题,并提出了了解经过自学训练的网络及其内部工作的方法。鉴于自我监督的视觉借口任务的巨大多样性,我们缩小了对理解范式的关注,这些范式从同一图像的两种观点中学习,主要是旨在了解借口任务。我们的工作重点是解释相似性学习,并且很容易扩展到所有其他借口任务。我们研究了两个流行的自我监督视觉模型:Simclr和Barlow Twins。我们总共开发了六种可视化和理解这些模型的方法:基于扰动的方法(条件闭塞,上下文无形的条件闭塞和成对的闭塞),相互作用-CAM,特征可视化,模型差异可视化,平均变换和像素无形。最后,我们通过将涉及单个图像的监督图像分类系统量身定制的众所周知的评估指标来评估这些解释,并将其涉及两个图像的自我监督学习领域。代码为:https://github.com/fawazsammani/xai-ssl
translated by 谷歌翻译
本文建议使用通信管道来提高移动边缘计算应用程序中联合学习的无线频谱利用效率和收敛速度。由于无线子渠道有限,在联合学习算法的每次迭代中,总计客户端的一部分。另一方面,计划的客户等待最慢的客户端完成计算。我们建议首先根据客户在计算联合学习模型的本地梯度所需的时间将客户聚集。然后,我们安排了来自所有群集的客户的混合,以管道的方式发送其本地更新。这样,更多的客户可以参与每次迭代,而不仅仅是等待较慢的客户完成计算的速度。虽然单个迭代的持续时间没有改变,但提出的方法可以显着减少达到目标准确性所需的迭代次数。我们为在不同的设置下提供了最佳客户群聚类的通用公式,并在分析上得出了一种有效的算法来获得最佳解决方案。我们还提供了数值结果,以证明针对不同数据集和深度学习体系结构所提出的方法的收益。
translated by 谷歌翻译